由于模糊图像本身缺乏时间和纹理信息,因此非均匀的图像脱毛是一项具有挑战性的任务。来自辅助传感器的互补信息正在探索这些事件传感器以解决这些限制。后者可以异步记录对数强度的变化,称为事件,具有高时间分辨率和高动态范围。当前的基于事件的脱蓝晶方法将模糊图像与事件结合在一起,以共同估计每个像素运动和DeBlur操作员。在本文中,我们认为一种分裂和争议的方法更适合此任务。为此,我们建议使用调制可变形的卷积,其内核偏移和调制掩模是从事件中动态估算的,以编码场景中的运动,而从模糊图像和相应事件的组合中学习了deblur操作员。此外,我们采用了一种粗到十的多尺度重建方法来应对低对比度区域中事件的固有稀疏性。重要的是,我们介绍了第一个数据集,其中包含对曝光时间内的真实RGB模糊图像和相关事件的对。我们的结果在使用事件时显示出更好的总体鲁棒性,在合成数据上,PSNR的改进最多可提高1.57db,而对真实事件数据的改进则提高了1.08 dB。
translated by 谷歌翻译
对比自我监督的学习已经超越了许多下游任务的监督预测,如分割和物体检测。但是,当前的方法仍然主要应用于像想象成的策划数据集。在本文中,我们首先研究数据集中的偏差如何影响现有方法。我们的研究结果表明,目前的对比方法令人惊讶地工作:(i)对象与场景为中心,(ii)统一与长尾和(iii)一般与域特定的数据集。其次,鉴于这种方法的一般性,我们尝试通过微小的修改来实现进一步的收益。我们展示了学习额外的修正 - 通过使用多尺度裁剪,更强的增强和最近的邻居 - 改善了表示。最后,我们观察Moco在用多作物策略训练时学习空间结构化表示。表示可以用于语义段检索和视频实例分段,而不会FineTuning。此外,结果与专门模型相提并论。我们希望这项工作将成为其他研究人员的有用研究。代码和模型可在https://github.com/wvanganebleke/revisiting-contrastive-ssl上获得。
translated by 谷歌翻译
Can we automatically group images into semantically meaningful clusters when ground-truth annotations are absent? The task of unsupervised image classification remains an important, and open challenge in computer vision. Several recent approaches have tried to tackle this problem in an end-to-end fashion. In this paper, we deviate from recent works, and advocate a two-step approach where feature learning and clustering are decoupled. First, a self-supervised task from representation learning is employed to obtain semantically meaningful features. Second, we use the obtained features as a prior in a learnable clustering approach. In doing so, we remove the ability for cluster learning to depend on low-level features, which is present in current end-to-end learning approaches. Experimental evaluation shows that we outperform state-of-the-art methods by large margins, in particular +26.6% on CI-FAR10, +25.0% on CIFAR100-20 and +21.3% on STL10 in terms of classification accuracy. Furthermore, our method is the first to perform well on a large-scale dataset for image classification. In particular, we obtain promising results on ImageNet, and outperform several semi-supervised learning methods in the low-data regime without the use of any groundtruth annotations. The code is made publicly available here.
translated by 谷歌翻译
在这项工作中,我们研究了非盲目图像解卷积的问题,并提出了一种新的经常性网络架构,其导致高图像质量的竞争性恢复结果。通过现有大规模线性求解器的计算效率和稳健性的推动,我们设法将该问题的解决方案表达为一系列自适应非负数最小二乘问题的解决方案。这引发了我们提出的复发性最小二乘因解网络(RLSDN)架构,其包括在其输入和输出之间施加线性约束的隐式层。通过设计,我们的网络管理以同时服务两个重要的目的。首先,它隐含地模拟了可以充分表征这组自然图像的有效图像,而第二种是它恢复相应的最大后验(MAP)估计。近期最先进的方法的公开数据集的实验表明,我们提出的RLSDN方法可以实现所有测试方案的灰度和彩色图像的最佳报告性能。此外,我们介绍了一种新颖的培训策略,可以通过任何网络架构采用,这些架构涉及线性系统作为其管道的一部分的解决方案。我们的策略完全消除了线性求解器所需迭代的需要,因此,它在训练期间显着降低了内存占用。因此,这使得能够培训更深的网络架构,这可以进一步提高重建结果。
translated by 谷歌翻译